前言
昨天的文章對 Hadoop 做了基本的介紹，還不知道 Hadoop 是什麼的人可以先看看這篇：Day05 - Hadoop 介紹。

前置作業

• Linux
  雖然說 Hadoop 也有支持 Windows，只不過要額外安裝一些東西（可以參考這裡），總的來說，準備一個 Linux 作業系統還是比較好，果原本是用 Windows 的人可以參考我的作法用 wsl。
• Java
  由於 Hadoop 是由用 Java 寫的，所以要先安裝 Java，根據 HadoopJavaVersions，Hadoop 3.3 以上支持在運行時使用 Java 8 和 Java 11，但編譯時只支援使用 Java 8，我們透過指令安裝 Java 8 (要安裝 Java 11 也行，一般情況下，除非你是要開發 Hadoop 應用程式不然不會需要進行編譯)：

  sudo apt-get install openjdk-8-jdk
  

• ssh (pdsh)
  Hadoop 透過 ssh 來管理遠程 Hadoop 守護進程，另外建議安裝 pdsh 以實現更好的資源管理。

  sudo apt-get install ssh
  sudo apt-get install pdsh
  

  設置無密碼片語的 ssh (passphraseless ssh)，執行下面指令測試：

  ssh localhost
  

  如果出現類似於 ssh: connect to host localhost port 22: Connection refused 的錯誤訊息，可以執行下面指令試試：

  sudo service ssh restart
  

  如果提示需要輸入密碼片語 (passphrase) 的話，可以執行下面指令：

  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  chmod 0600 ~/.ssh/authorized_keys
  

  ps. 用 exit 可以退出 ssh

Hadoop 安裝

首先到Hadoop Releases找到最新的 Hadoop 版本，選擇 Binary Download 後會看到下載的 URL，目前最新的版本是 Hadoop 3.3.6：

Hadoop 3.3.6：https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

使用下面指令安裝：

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

接著解壓縮檔案：

mkdir ~/hadoop
tar -xvzf hadoop-3.3.6.tar.gz -C ~/hadoop
cd ~/hadoop/hadoop-3.3.6/

etc/hadoop/hadoop-env.sh，大概第54行的地方，取消註解並修改 JAVA_HOME 路徑：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

接下來試著執行下面指令，如果有出現hadoop的版本資訊出現表示安裝成功了。

bin/hadoop version

我們也可以將 hadoop 加入系統環境變數中，修改~/.bashrc，將下方變數添加入文件中：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
export HADOOP_HOME=~/hadoop/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

現在我們可以直接使用 hadoop 指令了：

hadoop version

預告

下一篇文章將介紹 Hadoop 的模式以及相應配置。

參考資料

Hadoop: Setting up a Single Node Cluster.
Install Hadoop 3.3.2 in WSL on Windows